Анализ пользовательского поведения в мобильном приложении

Содержание проекта

Описание проекта

Необходимо проанализировать поведение пользователей мобильного приложения для продажи продуктов питания.

Следует изучить воронку продаж и проанализировать результаты A/A/B-эксперимента. В ходе эксперимента пользователи были разделены на три группы: две контрольные группы использовали старые шрифты, а одна экспериментальная группа — новые шрифты. Целью эксперимента было выяснить, какой шрифт больше нравится пользователям.

Цель проекта

Описание данных

Таблица logs_exp.csv. Каждая запись в логе — это действие пользователя, или событие.

План работ

  1. Чтение и предобработка данных
  2. Исследовательский анализ данных
  3. Изучение воронки событий
  4. Изучение результатов A/A/B-эксперимента
  5. Общий вывод

Чтение и предобработка данных

Мы видим, что есть 5 видов событий, которые отображаются в логах

Промежуточный вывод

Исследовательский анализ данных

По описательной статистике, мы видим, что большинство пользователей за время исследования совершили от 9 до 37 действий. А среднее кол-во событий на пользователя равно 32.3.

Минимальные и максимальные даты в группах равны: 2019-07-25 и 2019-08-08

По графику видно, что большинство событий происходят с 1.08 по 7.08 включительно. Для дальнейшего анализа будем использовать события в эти дни.

Также можно сказать, что большинство логов приходят во второй половине дня.

Промежуточный вывод

Изучение воронки событий

Частота встречи событий в логах

По таблице и графику мы видим:

Кол-во пользавателей совершавших каждое из событий

По таблице мы видим:

Предположения о порядке событий

Чтобы преположить порядок событий, посмотрим какие есть последователности у каждого из пользователей, и посчитаем частоту встречи каждой из последовательностей

В этой таблице представлены возможные последовательности действий пользователей и их частота встречи, по некотрым последовательностям можно сделать однозначные выводы, по другим только предположить действия пользователя:

Расчет конверсии по шагам в воронке событий

Основной воронкой событий можно считать, такую последовательность

Однако, также стоит учитывать просмотр главного экран, так как с большой вероятностью просмотреть предложение, можно нажав на кнопку с главного экрана

Доля пользователей, дошедших от первого события по последнего

Промежуточный вывод

Расчет конверсии по шагам в воронке событий

Изучение результатов A/A/B-эксперимента

В группах отсутсвуют пересечения пользователей

Функция для проведения двухсторонего z-теста

Определение статистической значимости для А1 и A2 групп

Гипотезы для проведения Z-теста следующие:

Промежуточный вывод Между контрольными группами A1 и A2 нету статистической разницой, нет оснований считать доли разными. Можно сказать, что разбиение на группы работает корректно.

Определение статистической значимости для А1 и B групп

Гипотезы для проведения Z-теста следующие:

Промежуточный вывод Между группами A1 и B нету статистической разницой, нет оснований считать доли разными.

Определение статистической значимости для А2 и B групп

Гипотезы для проведения Z-теста следующие:

Промежуточный вывод Между группами A2 и B нету статистической разницой, нет оснований считать доли разными.

Определение статистической значимости для А1_A2 и B групп

Гипотезы для проведения Z-теста следующие:

Промежуточный вывод Между группами A1_A2 и B нету статистической разницой, нет оснований считать доли разными.

Групповая вероятность ошибки первого рода/FWER

При проверки всех гипотез, был установлен уровень стат. значимости 0.01, это означает, что в 10% случаях мы могли бы получить ложнопозитивный результат при попарном сравнение.

Всего было проверено 16 гипотез, следовательно групповая вероятность ошибки первого рода/FWER будет равна 0.148, то-есть в ~15% случаях, мы могли бы получить ложнопозитивный результат. Однако, при проверки гипотез, мы не получили не одного позитивного результата, а следовательно и ложнопозитивных результатов нету.

Таким образом, мы можем сказать, что уровень статистической значимости в 0.01 выбран верно.

Промежуточный вывод

Вывод

Исследовательский аналих данных

Выводы по воронки событий

Расчет конверсии по шагам в воронке событий

Анализ результатов A/A/B-теста

Решение по результатам анализа A/A/B-теста